Giai đoạn an bình ở Carthage (năm 200-196 TCN)

Hannibal lúc này vẫn mới 43 tuổi và ngay sau đó ông đã cho thấy rằng ông có thể là một chính trị gia tài giỏi như một người lính. Sau khi ký kết một nền hòa bình đã khiến cho Carthage bị tước đoạt sạch trơn đế chế hùng mạnh trước đây của nó, Hannibal đã chuẩn bị để lấy lại vị thế của nó trong một thời gian. Tuy nhiên, sự tham nhũng trắng trợn của chính thể đầu sỏ đã giúp cho Hannibal có được cơ hội để tái xuất hiện và ông được bầu làm chánh án (suffete) hoặc thẩm phán. Chức vụ này vốn đã trở nên khá tầm thường nhưng Hannibal đã khôi phục lại quyền lực và uy quyền lực của nó. Chính thể đầu sỏ vốn luôn luôn ghen tị với ông, thậm chí còn buộc tội ông là đã phản bội lại lợi ích của đất nước mình trong khi ông đang Ý, và thờ ơ với việc có thể đánh chiếm được thành Roma trong khi ông có thể có làm được điều này. Sử dụng quyền lực của mình, Hannibal đã tiến hành cải cách một cách có hiệu quả tới mức khoản triều cống nặng nề do Roma áp đặt có thể được trả dần dần mà không cần phải tăng thêm những khoản thuế đặc biệt nào. Ông cũng cải cách Hội đồng Một trăm lẻ Bốn, và quy định rằng các thành viên của nó sẽ được lựa chọn từ một cuộc bầu cử trực tiếp hơn là bằng việc bổ nhiệm nhanh chóng. Ông cũng lợi dụng sự ủng hộ của người dân để thay đổi thời hạn nhiệm kì trong Hội đồng một trăm lẻ Bốn từ suốt đời xuống còn một năm, cùng với một nhiệm kỳ giới hạn là hai năm.

Lưu đày (Từ năm 195-183/181 TCN)

Bảy năm sau khi giành chiến thắng tại Zama, người La Mã đã lo lắng về việc Carthage dần trở nên thịnh vượng trở lại và họ yêu cầu người Carthage phải giao nôp Hannibal. Hannibal sau đó liền tự nguyện đi sống lưu vong. Ông tiến hành một cuộc hành trình tới Týros, mẫu quốc của Carthage, và sau đó là tới Ephesus, tại đây ông đã được vua Antiochos III của Syria chào đón trong vinh quang, vị vua này lúc đó đang chuẩn bị gây chiến với Roma. Hannibal đã sớm nhận thấy rằng quân đội nhà vua không thể đối trọi lại được người La Mã. Ông đã khuyên nhà vua nên trang bị một hạm đội và đổ bộ một đạo quân lên phía nam của Ý, đồng thời đề nghị để cho bản thân ông nắm quyền chỉ huy. Nhưng ông đã không thể tạo ra được nhiều ấn tượng đối với Antiochos, vốn nghe lời các cận thần của mình và sẽ không giao cho Hannibal bất kỳ chức vụ quan trọng nào. Theo Cicero, trong khi có mặt tại triều đình của Antiochos, Hannibal đã dự một buổi diễn thuyết của Phormio, một nhà triết học, mà phạm vị của nó liên quan đến nhiều chủ đề. Khi Phormio hoàn thành một bài giảng về nhiệm vụ của một vị tướng, Hannibal đã được hỏi về ý kiến ​​của mình. Ông trả lời: "Suốt đời mình, tôi đã gặp nhiều kẻ ngu ngốc lão luyện. Nhưng người này đã vượt xa tất cả bọn họ".Một câu chuyện khác theo Aulus Gellius ghi lại là khi Antiochos III phô trương với Hannibal về đạo quân khổng lồ và được trang bị một cách kĩ lưỡng mà ông ta đã xây dựng nên nhằm xâm lược Hy Lạp, ông ta hỏi ông rằng liệu là họ có đủ để đối phó với Cộng hòa La Mã, Hannibal đã trả lời, "Tôi nghĩ rằng tất cả điều này sẽ là đủ, vâng, khá đủ, cho những người La Mã, mặc dù họ là những kẻ tham lam nhất".[36] Năm 191 trước Công nguyên, người La Mã dưới quyền Manius Acilius Glabrio đánh tan tác quân đội của Antiochos tại Thermopylae và buộc ông ta phải rút quân về châu Á. Người La Mã sau đó tiếp tục tấn công Antiochos ở Anatolia, và hoàn toàn đánh bại quân Seleukos ở Magnesia ad Sipylum trong năm 190 TCN.

Trong năm 190 trước Công nguyên, Hannibal cũng đã được giao quyền chỉ huy một hạm đội Seleukos, nhưng ông đã bị đánh bại trong trận Eurymedon. Theo Strabo và Plutarch, Hannibal cũng đã nhận được lòng hiếu khách tại triều đình Armenia của Artaxias I. Các tác giả còn thêm một giai thoại về việc Hannibal đã lên kế hoạch và giám sát việc xây dựng kinh thành Artaxata mới như thế nào[37] Khi mà Antiochos dường như chuẩn bị đầu hàng người La Mã, Hannibal đã trốn sang đảo Crete, nhưng ông nhanh chóng quay trở lại vùng Tiểu Á và tìm chỗ ẩn náu ở chỗ vua Prusias I của Bithynia, người lúc này đang tiến hành chiến tranh với đồng minh của Roma, vua Eumenes II của Pergamon. Hannibal đã tham gia vào việc phụng sự Prusias trong cuộc chiến này. Trong một trong những trận thủy chiến mà ông đã giành được thắng lợi trước Eumenes, Hannibal đã cho ném những hũ lớn chứa đầy rắn độc vào các con tàu chiến của Eumenes. Hannibal cũng đã đánh bại Eumenes trong hai trận chiến khác trên đất liền cho đến khi người La Mã can thiệp và đe dọa Bythinia phải giao nộp Hannibal.[38]

Qua đời (183/181 TCN)

Prusias chấp nhận giao nộp ông, nhưng Hannibal quyết tâm không để cho mình rơi vào tay kẻ thù. Tại Libyssa ở bờ phía Đông của biển Marmara, ông đã uống thuốc độc vốn được nghe nói là được ông mang theo mình từ lâu trong một chiếc nhẫn.[39] Trước khi chết, ông đã để lại một lá thư, tuyên bố: "Hãy để chúng giải thoát cho người La mã khỏi sự lo lắng vì họ đã phải trải qua điều đó quá lâu rồi, nhất là khi họ nghĩ là họ không còn có thể kiên nhẫn chờ cho tôi chết già. "[40]

Người ta không biết chắc ông qua đời vào năm nào. Trong biên niên của mình, Titus Pomponius Atticus tường thuật lại là nó xảy ra vào năm 183 TCN,[41] và Livy cũng cho là như vậy. Polybius, người vốn viết trong thời gian gần nhất sau khi nó xảy ra, cho đó là năm 182 TCN. Sulpicius Blitho ghi chép là năm 181 TCN.[41]